Beyond Ranking Accuracy: Evaluating LLM-Cited Feature Rationales for Next Basket Repurchase Recommendation
超越排序准确率：评估 LLM 在复购推荐中引用的特征理由
🧭 可解释推荐 · LLM 特征理由评估 ★ 深度解读
Walmart Global Tech
提出跨模型特征掩码协议，证明 LLM 不适合作复购排序器但可作经验证的推荐解释层
📌 工作参考价值（4 点）
- 生产复购推荐不建议用 LLM 直接打分排序；保留 XGBoost/VNN 等监督排序，LLM 只做解释层。若要尝试，先在小样本验证 LLM 分数是否超过 personal-frequency 等轻量 baseline，不要期望超越监督模型。
- 复购场景解释应引用结构化行为特征（cadence/frequency/recency/user context/item popularity），并约束 LLM 输出 exact feature names；这能把解释绑定到特征，方便 audit 和后续特征消融。
- 用“跨模型特征掩码”评估解释特征质量：对 LLM 引用 top-3 特征做训练集中位数替换，在目标模型上看 Precision/Recall/NDCG 下降；比只看排序分更接近 outcome-grounded，可以与 TreeSHAP/IG 对比，但需注意数据集差异。
- 证据卡建议加 percentile 视图（同用户内/全局 item 分布）帮助 LLM 判断相对强度；文本解释需单独做 groundedness check（group precision/numeric consistency），防止流畅但不可靠的解释。